Deformable registration of two-dimensional/three-dimensional (2D/3D) images of abdominal organs is a complicated task because the abdominal organs deform significantly and their contours are not detected in two-dimensional X-ray images. We propose a supervised deep learning framework that achieves 2D/3D deformable image registration between 3D volumes and single-viewpoint 2D projected images. The proposed method learns the translation from the target 2D projection images and the initial 3D volume to 3D displacement fields. In experiments, we registered 3D-computed tomography (CT) volumes to digitally reconstructed radiographs generated from abdominal 4D-CT volumes. For validation, we used 4D-CT volumes of 35 cases and confirmed that the 3D-CT volumes reflecting the nonlinear and local respiratory organ displacement were reconstructed. The proposed method demonstrate the compatible performance to the conventional methods with a dice similarity coefficient of 91.6 \% for the liver region and 85.9 \% for the stomach region, while estimating a significantly more accurate CT values.
translated by 谷歌翻译
本文介绍了一种在线改进的方法,用于考虑可遍历植物的机器人导航的场景识别模型,即机器人在移动时可以将其推开的柔性植物零件。在考虑可穿越的植物到路径上的场景识别系统中,错误分类可能会导致机器人由于被识别为障碍的可穿越的植物而被卡住。然而,在任何估计方法中,错误分类都是不可避免的。在这项工作中,我们提出了一个框架,该框架可以在机器人操作期间即时精制语义分割模型。我们引入了一些基于在线模型完善的重量印迹而无需微调的镜头细分。通过观察人与植物部位的相互作用来收集培训数据。我们提出了新颖的健壮权重,以减轻相互作用产生的面膜中包含的噪声的影响。通过使用现实世界数据进行实验评估了所提出的方法,并显示出胜过普通的权重,并通过模型蒸馏提供竞争性结果,同时需要较少的计算成本。
translated by 谷歌翻译
我们提出了DeePIPC,这是一种端到端的多任务模型,可在自动驾驶移动机器人自动驾驶时处理感知和控制任务。该模型由两个主要部分组成:感知和控制器模块。感知模块拍摄RGB图像和深度图来执行语义分割和鸟类视图(BEV)语义映射,并提供其编码功能。同时,控制器模块通过测量GNSS位置和角速度处理这些功能,以估算带有潜在特征的航路点。然后,使用两种不同的代理将航路点和潜在特征转换为一组导航控件,以驱动机器人。通过预测驾驶记录并在实际环境中的各种条件下进行自动驾驶来评估该模型。基于实验结果,DEEPIPC与其他模型相比,即使参数较少,DEEPIPC也达到了最佳的驾驶性和多任务性能。
translated by 谷歌翻译
为了关注自动驾驶工具的点对点导航的任务,我们提出了一种新颖的深度学习模型,该模型接受了端到端和多任务学习的方式,以同时执行感知和控制任务。该模型用于通过按照全球规划器定义的一系列路线来安全地驱动自我车辆。模型的感知部分用于编码RGBD摄像机提供的高维观察数据,同时执行语义分割,语义深度云(SDC)映射以及交通灯状态和停止符号预测。然后,控制零件将解码编码的功能以及GPS和速度计提供的其他信息,以预测带有潜在特征空间的路点。此外,还采用了两名代理来处理这些输出,并制定控制策略,以确定转向,油门和制动的水平为最终动作。在Carla模拟器上评估该模型,其各种情况由正常的对抗情况和不同的风雨制成,以模仿现实世界中的情况。此外,我们对一些最近的模型进行了比较研究,以证明驾驶多个方面的性能是合理的。此外,我们还对SDC映射和多代理进行了消融研究,以了解其角色和行为。结果,即使参数和计算负载较少,我们的模型也达到了最高的驾驶得分。为了支持未来的研究,我们可以在https://github.com/oskarnatan/end-to-end-drive上分享我们的代码。
translated by 谷歌翻译
由于自然灾害的出现显着增加(例如,飓风,森林火灾,洪水,地震),机器学习界最近对气候和灾害损伤领域的兴趣增加了兴趣。然而,没有足够的重视致力于减轻即将到来的自然灾害的可能破坏。我们通过预测在事实前的建筑水平损害基础上探讨这一关键空间,这些损害允许国家行为者和非政府组织最好配备资源分配,以尽量减少或抢先损失。我们介绍了在决策树上采用Resnets和完全连接的层的集合来捕获图像级别和元级信息,以准确地估计人为结构的弱点到灾害发生。我们的模式表现良好,并响应于跨灾害类型调整,并突出抢占危害造型的空间。
translated by 谷歌翻译
本文介绍了一种估计植物部件的覆盖路径的可推动性并通过它们用于在富含植物环境中运行的移动机器人的植物部件的迁移性。传统的移动机器人依赖于场景识别方法,其仅考虑环境的几何信息。因此,这些方法不能在柔性植物覆盖时识别出可遍历的路径。在本文中,我们提出了一种基于图像的场景识别的新框架,以实现这种富有的植物环境中的导航。我们的识别模型利用用于通用对象分类的语义分割分支和用于估计像素 - 方向遍历的遍历性估计分支。使用无监督域适配方法训练语义分割分支,并且遍历估计分支的训练,其中在数据获取阶段期间从机器人的遍历经验中产生的标签图像训练,被卷曲的拖拉性掩码。因此,整个模型的培训程序免于手动注释。在我们的实验中,我们表明,所提出的识别框架能够更准确地将可遍历的植物与具有遍历植物和不可遍历的工厂类的传统语义分段进行区分,以及现有的基于图像的可移动性估计方法。我们还进行了一个真实的实验,并确认了具有所提出的识别方法的机器人在富有植物的环境中成功导航。
translated by 谷歌翻译
学习医学图像的视觉表示(例如X射线)是医学图像理解的核心,但由于人类注释的稀缺性,其进步已经阻止了它。现有的工作通常依赖于从成像网预处理传输的微调权重,由于图像特征截然不同,这是次优的,或者是从文本报告数据与医学图像配对的基于规则的标签提取,这是不准确的,难以推广。同时,最近的几项研究表明,从自然图像中学习的对比度学习令人兴奋,但由于它们的高层间相似性,我们发现这些方法对医学图像无济于事。我们提出了Concirt,这是一种替代的无监督策略,通过利用自然存在的配对描述性文本来学习医学视觉表示。我们通过两种模式之间的双向对比度目标对医学图像进行预处理编码的新方法是域,无关,不需要其他专家输入。我们通过将预处理的权重转移到4个医学图像分类任务和2个零射击检索任务中来测试交通,并证明它导致图像表示,在大多数设置中,它们都超过了强大的基线。值得注意的是,在所有4个分类任务中,我们的方法仅需要10 \%标记的培训数据与成像网初始化的对应物,以实现更好或可比的性能,从而证明了卓越的数据效率。
translated by 谷歌翻译